增强现实技术（AR）在电视节目中的应用与实践（ 上）

点击上方蓝字关注

1. 增强现实技术 （AR）

广义的增强现实技术（Augmented Reality，以下简称 AR 技术），是一种将真实世界的信息和虚拟世界的信息集成到一起的技术，是把一些在现实世界里很难体验到的信息和体验，包含视频、音频，甚至味道、环境氛围等，通过计算机技术进行模拟与展现，从而将虚拟的信息应用到真实世界，能够被用户通过视觉、听觉、味觉和触觉所感受到。

AR 技术与硬件、软件以及应用层面息息相关。在硬件方面，必须结合处理器、显示器、传感器以及输入设备的支持，才能构建成为增强现实技术平台。在软件方面，AR 技术的关键是如何将虚拟的物件与现实世界结合。在应用层面，AR 技术最早用于军事，而后扩及到医疗、工业维修、视频通讯、电视制作、娱乐游戏、旅游展览等众多行业应用。

由于AR应用系统在实现的时候要涉及到多种因素, 因此AR技术的研究对象的范围十分广阔 , 包括信号处理、计算机图形和图像处理、人机界面和心理学、移动计算、计算机网络、分布式计算、信息获取和信息可视化 , 以及新型显示器和传感器的设计等。AR系统虽不需要显示完整的场景 , 但是由于需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中 , 因此AR系统中一般都包含以下4个基本步骤 :

（1） 获取真实场景信息

（2） 对真实场景和相机位置信息进行分析

（3） 生成虚拟景物

（4） 合并视频或直接显示

所以，在AR 系统中 , 成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑技术。

AR技术的概念虽然早在90年代就被高校的学者提出，但受限于计算机处理能力的限制，AR技术真正开始在相关行业取得应用，还是近几年的事情。首当其冲的是能够识别原文并且将翻译结果与原文结合在一起的AR翻译APP，而如今，最为广为人知的，是任天堂公司在2016年推出的基于AR技术的《PokemonGo》游戏，让AR技术深入人心，引发大家的广泛关注。另外，在一些商业品牌的产品展示演示上，AR技术也大显身手，比如AR试衣间和AR汽车4S店，让消费者与产品互动体验，甚至是将消费者的家打造成AR购物中心。

2. 电视领域中的增强现实AR制作技术   

实际上，在电视制作领域，我们从90 年代的图文字幕包装系统开始，到虚拟演播室系统、实时虚拟植入系统，电视工作者一直在通过技术手段，将不同的虚拟信息叠加到摄像机拍摄的视频画面之上，以呈献给观众画面更绚丽、信息更丰富的电视画面。

而现阶段我们在电视制作领域所说的增强现实制作技术（以下简称AR 制作），主要还是视觉化的增强现实技术，是基于实时跟踪摄像机所拍摄影像的位置，并通过计算机系统实时叠加上相应的视频、音频、图文信息等，这种技术可以在电视屏幕上把虚拟信息叠加到现实世界上，通过普通电视屏幕不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，甚至通过精心的节目创意设计，可以实现真实世界同虚拟世界的良好互动效果，让观众在电视屏幕面前难辨虚拟世界和真实世界。

AR 制作技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合、动作捕捉等新技术与新手段。

图1 基于普通电视屏幕的AR实现方案

一个完整的AR 制作系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现，如图1 所示，摄像机摄取的真实世界图像输入到计算机实时处理系统中，与计算机图形系统产生的虚拟景象合成，并输出到普通电视屏幕上，用户从电视屏幕上就可以看到最终的增强场景图像。

现阶段的AR 制作至少要具有以下三个主要特点：

（1）摄像机拍摄的真实世界和计算机生成的虚拟世界的信息集成；

（2）在真实的三维空间中通过虚拟植入技术添加虚拟物体；

（3）真实主体与虚拟物体要具有实时互动性。

事实上，如果不考虑虚实世界的实时互动性，传统的虚拟植入技术已经在电视制作领域应用多年。虚拟植入是将带有跟踪传感器的摄像机信号与提前制作好的虚拟植入场景内容同步实时渲染合成在一起，并使植入实景的AR 内容跟随摄像机的景别同步变化，最终在电视中呈现虚实结合、以假乱真的视觉画面。

图2  2017年央视春晚《 清风》

节目中的虚拟植入播出效果

以虚拟植入为主体的AR 制作可以完成多种多样的节目需求，无论是在艺术效果上还是功能结构上，且在很大程度上弥补了画面中实景内容的不充分，丰富有效画面。在大量的节目需求和技术投入之下，虚拟植入已经被广泛地使用在了录播或直播节目当中，甚至和LED大屏幕一样成为了大小晚会和专题节目的标准配置，如图2，2017年央视春晚《清风》节目应用了大量虚拟植入技术。

AR 制作的应用流程主要分为四个步骤：

（1） 前期创意：根据节目需求规划设备系统，创作AR 效果图；

（2） 深入设计：根据AR 效果图创作符合规范的具体AR 元素内容（三维模型、材质贴图、序列动画等）；

（3） 场景制作：将AR 元素导入系统软件，制作完成虚拟植入场景和动画，对全部场景进行整体优化；

（4） 现场实施：搭建设备系统，结合实景（舞美、灯光、演员、环境、情景等）调试虚拟植入场景，编辑播出模板，配合节目演练、播出，回收设备系统。

近年来，中央电视台应用AR 制作的节目主要分为四大类：

（1） 歌舞环境类：例如CCTV-1《春晚》、《五四晚会》；

（2） 互动情景类：例如CCTV-2《3.15 晚会》；

（3） 专题事件类：例如CCTV-5《豪门盛宴》、奥运会转播；

（4） 室外景观类：例如CCTV-3《“心连心”慰问演出》。

接下来，我们通过解析《3.15 晚会》、《春晚》和《五四晚会》中的虚拟植入应用，来了解一下电视领域中的AR 制作技术。

3. AR制作在 《3.15晚会》 中的应用

今年是中央电视台《3.15 晚会》首次使用AR 技术，配合晚会“消费预警”环节中的情景剧表演，虚实结合，让观众通过震撼的视觉效果来感受人物在不同条件下的心理变化，揭露展示骗局内幕，帮助消费者辨真识假。

相对于《春晚》等综艺晚会中的歌舞类节目，《3.15 晚会》“消费预警”情景剧在传统的虚拟植入应用基础上，增加了故事情节和互动性，与节目环节融为一体，使之扩展成为了更高级的、真正意义上完整的增强现实AR概念，可以说是对以往虚拟植入应用在内容和形式上的一次突破。当然相对的，它的难点是在调试和播出过程中，互动AR元素与演员情景表演之间的配合。

3.1《3.15晚会》AR制作系统的技术支撑平台

在中央电视台的一号演播大厅，除了用于拍摄大全景时使用的2号固定虚拟植入机位之外，根据需要近景展现细节的情景剧舞台表演拍摄特点，我们还使用了舞台前方的轨道机器人虚拟植入机位，并将以往用于《春晚》舞台上场口方向观众席上方的7 号摇臂虚拟植入机位前置使之更加贴近于上场口，这两个虚拟植入机位可以近距离拍摄演员表演与AR内容之间的空间关系和细节内容，最大程度地展现虚实互动地空间立体效果。

图3  虚拟植入机位系统图

 （2号固定、7号摇臂和轨道机器人）

考虑到现场灯光效果的频繁变化，三个虚拟植入机位均使用机械跟踪技术。另外，对应三个虚拟植入机位，使用了三套即时渲染系统和播控系统，如图3所示。

3.2《3.15晚会》AR内容的创作与设计

创作方面，贯穿《3.15晚会》“消费预警”情景剧的AR内容全部按照节目“揭露展示骗局内幕”的主旨进行创意设计。项目初始，我们根据导演组给出的节目需求，结合舞美效果，创作完成了情景剧中16个环节的AR效果图，包括实验室、大海、悬崖、手机、弹幕、钞票等诸多创意内容，然后按照审定的效果图，在三维制作软件中制作这些AR元素的模型和材质贴图，最后陆续导入渲染系统完成AR场景和动画。

图4  “ 心理分析室”创意效果图

图5  “ 心理分析室”场景制作

其中，“心理分析室”、“情报收集室”和“产品创新室”三个AR骗局实验室，分别用于“分析受害人心理”、“收集受害人信息”和“设计创造新骗局”三个环节，在理解它们的内容含义之后，我们分别按照“心理思想”、“信息数据”和“发明创造”的思路进行创意，使用对应的节点图案，构成全息风格的“大脑神经网络”“数据云”和“齿轮发电灯泡”三个AR主题元素，突出科技感，放置在演员周围形成的玻璃结构上方，构成AR骗局实验室，这种贴合主题的整体AR效果，能够很好地与节目环节配合，对情景进行表现。

为了让演员的表演看起来更加真实合理、容易理解，我们还制作了逼真的三维元素，利用AR技术将阳光明媚之下的平静大海变成狂风暴雨之中的波涛汹涌，或是让演员脚下的舞台瞬间塌方形成悬崖，现场环境配合演员表演瞬息万变，使观众通过这些生动且震撼的视觉效果感受人物在不同条件下的心理变化，更加深刻地领会节目主旨。

图6  “ 产品创新室”播出效果

图7  现场环境配合情节瞬息万变

图8  制作逼真的三维元素

以大海的制作为例，水和布料等柔体元素在AR技术的即时渲染中是实现难度较大的三维内容，在以往节目中，一般是制作一定角度的平面动画序列构建错觉上的假三维效果，为了实现更加真实的三维效果，这次我们使用三维软件制作了大海波浪在一个时刻上下起伏的静止状态多边形模型（Polygon Model），并将这个多边形模型四边形化、软化边、优化调整UV，然后生成VRML格式文件导入渲染系统的AR场景制作软件中，在Y 轴上以原点为中心制作从负值到正值变化的循环动画，使模型正反向伸缩，原先静止的海浪从形状上不断上下起伏变化，最后将合成软件生成的真实海浪动画序列贴在模型上，形成波澜壮阔、配合情节变化的逼真三维大海环境。

图9  舞台瞬间塌方形成悬崖的播出效果

另外，每个AR环节中的灯光和大屏幕动画都根据AR效果进行设计，前后层次呼应，缔造整体空间效果。

3.3 决定《3.15晚会》AR制作最终效果的现场调试

和传统虚拟植入的现场调试有所不同，为了确保演员与AR元素之间实时互动关系的准确性，并将效率最大化，《3.15 晚会》中的AR 场景调试与情景剧排练是同步进行的，彼此相互协同优化调整。

图10  AR场景调试与情景剧排练同步进行

在AR场景和动画调试过程中，我们连同导演组和节目播出相关的其它各工种人员，共同针对情景剧剧本中的每一个环节，逐一对AR内容的位置、大小、动画速度、光影变化等细节进行调试，并根据调试结果设计每个环节中摄像机拍摄的景别和运动，以及主持人、演员互动AR元素时的站位和动作，反复走场演练，确保录制时的每一个细节都符合节目创意要求。

图11  整体演绎具有真实立体感的虚实结合情景

图12  AR创作团队在现场进行AR场景调试工作

例如AR金币雨，在三维制作软件中，我们将AR金币的大小、形状和质感，与地面真实道具金币相统一，并在场景设计软件中结合现场舞美结构和灯光变化制作动画，调整元素位置，让多层次闪亮的AR金币从舞台正上方环形LED 大屏幕中间的空洞里准确的落下，演员则根据返送大屏幕中的画面，在被规定的AR动画范围内进行表演，配以舞台前轨道机器人的运动拍摄，整体演绎具有真实立体感的虚实互动情景剧，诠释了AR虚实世界的实时互动性。

（文 / 中央电视台 蔡贺 赵晔）

（未完待续）

推荐阅读